Dilahirkan dan dibesarkan di Dothan, Alabama, Brown merupakan anak kepada Ed dan Mattie Brown, salah seorang daripada lapan adik beradik. Ibu bapanya adalah pekedai. [3] Beliau adalah bintang pasukan bola sepak sekolah menengah, memperoleh biasiswa bola sepak ke Universiti Alabama . Adik lelakinya Tolbert "Red" Brown bermain dengan "Mack" pada tahun 1925 . [4]

Selepas beliau tamat kolej, beliau telah menjual insurans dan kemudian melatih pelajar baru itu yang bertanding di belakang pasukan bola sepak Universiti Alabama. [5]

Universiti Alabama

Semasa di Universiti Alabama, Brown menjadi ahli persaudaraan Kappa Sigma yang dimulakan.

Bola sepak Amerika

Brown merupakan pemain tengah yang terkenal dalam pasukan bola sepak Crimson Tide universitinya, dibimbing oleh Wallace Wade . Beliau mendapat jolokan "The Dothan Antelope" [6] dan telah dilantik ke dalam Dewan Kemasyhuran Bola Sepak Kolej. Pop Warner memanggilnya "salah seorang pemain bola sepak terpantas yang pernah saya lihat." [7]